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Publication Title: 

Navigation and guidance system for autonomous mobile robots - has sensors for 
input to neuronal network based controller that has learning capacity to 
determine direction and motion commands 



Abstract: 

A navigation and guidance system for use with mobile robot units uses inputs 
from a sensor (10) system mounted on the robot. This can be in the form of TV, 
radar or IR detectors. An additional sensor provides proximity or range 
information (12) and can be a laser unit. 

Both sensor systems provide inputs to a navigation module (14) that is in the 
form of a neuronal network. The system has a learning capacity and is trained to 
generate direction and motion commands dependent upon the sensor inputs. 
The neuronal network is configured as 3 different types providing different 
classification categories. 

USE/ADVANTAGE - Uses learning process to determine navigating actions. 
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Prufungsantrag gem. § 44 PatG ist gestellt 

@ Navigations- und Fiihrungssystem fur autonome, mobile Roboter 

@ Ein Navigations- und Fiihrungssystem fur autonome, 
mobile Roboter enthalt einen bilderfassenden Sensor (10), 
einen Entfernungssensor (12) und neuronale Netzwerkmittel 
(14; 26, 28, 30, 32), auf welche Daten von dem bilderfassen- 
den Sensor (10) und von dem Entfernungssensor (12) 
aufgeschaltet sind und welche zur Erzeugung von Rich- 
tungs- und Fahrtkommandos aus den Daten der Sensoren 
trainiert sind. 
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Beschreibung 



und Fiih- 



Die Erfindung betrifft ein Navigations- 
rungssystem fur autonomy mobile Roboter. 

Bei solchen autonomen, mobilen Robotern handelt es 
sich urn autonome Systeme, die in der Lage sind f sich im 
Rahmen einer zielgerichteten Aufgabenstellung in einer 
Umgebung selbsttatig zu bewegen und zu orientieren. 
Dariiberhinaus sollen sie die Fahigkeit besitzen, auf un- 
vorhergesehene Ereignisse und Veranderungen in die- 
ser Umgebung in einer Weise zu reagieren, daB die 
Ausfuhrung der Aufgabe in Echtzeit weiter verfolgt 
werden kann. 

Ein Teilaspekt dieser Problematik ist die Navigation 
und Fuhrung des Roboters in der betreffenden Umge- 
bung. Dazu gehort die Standortbestimmung, das Erken- 
nen von Hindernissen und die Fahrwegplanung. Das ist 
mit herkommlichen Rechnern praktisch nicht zu be- 
werkstelligen. 

Der Erfindung liegt die Aufgabe zugrunde, ein Navi- 
gations- und Fuhrungssystem fiir mobile Roboter zu 
schaffen. 

ErfindungsgemaB wird diese Aufgabe gelSst durch 
einen bilderfassenden Sensor, einen Entfernungssensor 
und neuronale Netzwerkmittei, auf welche Daten von 
dem bilderfassenden Sensor und von dem Entfernungs- 
sensor aufgeschaltet sind und welche zur Erzeugung 
von Richtungs- und Fahrtkommandos aus den Daten 
der Sensoren trainiert sind. 

Der mobile Roboter enthalt einen bilderfassenden 
Sensor und einen Entfernungssensor. Diese Sensoren 
liefern Informationen uber die Umgebung, in welcher 
sich der mobile Roboter bewegt. Sie gestatten dem Ro- 
boter, seinen Standort zu bestimmen und Hindernisse 
zu erkennen. Durch die neuronalen Netzwerkmittei 
wird der Roboter in die Lage versetzt, sich selbst zu 
organisieren, zu lernen sowie sich an unvorhergesehene, 
veranderliche Situationen in seiner Umgebung anzupas- 
sen. Der Roboter kann seinen Fahrweg planen und opti- 
mieren und seine Bewegungen dementsprechend re- 
geln. 

Ausgestaltungen der Erfindung sind Gegenstand der 
Unteranspriiche. 

Ein Ausfuhrungsbeispiel der Erfindung ist nachste- 
hend unter Bezugnahme auf die zugehorigen Zeichnun- 
gen naher erlautert 

Fig. 1 ist ein Blockdiagramm und zeigt die Sensor- 
Netzwerk-Architektur bei einem Navigations- und Fuh- 
rungssystem fiir mobile Roboter. 

Fig. 2 zeigt den Aufbau des neuronalen Netzwerkes 
zur Bestimmung eines Soll-Fahrweges. 

Fig. 3 zeigt einen als neuronales Netzwerk ausgebil- 
deten Fuhrungsregler bei einem Navigations- und Fuh- 
rungssystem fur mobile Roboter. 

Fig. 4 zeigt die Architektur fur das Trainieren des 
neuronalen Netzwerkes. 

Fig. 5 ist das Ergebnis einer Simulation und zeigt, wie 
der mobile Roboter einem vorher trainierten Fahrweg 
folgt. 

Fig. 6 ist ebenfalls das Ergebnis einer Simulation &hn- 
lich Fig. 5 und zeigt, wie der mobile Roboter einen vor- 
her nicht trainierten Weg sucht. 

Fig. 1 zeigt die grundlegende Sensor-Netzwerk-Ar- 
chitektur eines Navigations- und Fiihrungssystems fur 
mobile Roboter. Der mobile Roboter enthalt einen bild- 
erfassenden Sensor 10, Das kann ein Videosensor, ein 
Radarsensor oder ein Infrarotsensorsein. Der Sensor 10 
iiefert Pixel, die ein Bild des von dem Sensor erfaBten 
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Gesichtsfeldes darstellen. Der bilderfassende Sensor 
kann z.B. eine Pixelmatrix mit 32x32 Pixeln liefern. 
Weiterhin enthalt der mobile Roboter einen Entfer- 
nungssensor 12. Das kann ein Laser-Entfernungsmesser 
sein. Auch der Entfernungssensor ist "bilderfassend" in 
dem Sinne, daB er die Entfernungen zu den verschiede- 
nen Punkten des abgetasteten Gesichtsfeldes erfaBt und 
somit ein raumliches Profil Iiefert. Der Laser Entfer- 
nungsmesser kann beispielsweise 8x32 Pixel liefern. 
Die Ausgangsdaten des bilderfassenden Sensors 10 und 
des Entfernungssensors 12 sind auf ein neuronales Netz- 
werk 14 geschaltet Das neuronale Netzwerk 14 ist ein 
dreischichtiges Netzwerk mit einer Eingangsschicht 16, 
einer "verborgenen" Schicht 18 und einer Ausgangs- 
schicht 20. Das neuronale Netzwerk ist ausschlieBlich 
vorwarts vernetzt. Es enthalt keine Verbindungen in- 
nerhalb einer Schicht und keine Ruckfuhrungen. Da- 
durch ist die Stabilitat des Netzwerkes gewahrleistet 
Das neuronale Netzwerk 14 Iiefert nach geeignetem 
Training an einem Ausgang 22 Richtungskommandos 
und an einem Ausgang 24 Fahrtkommandos zur Bestim- 
mung der Fahrtrichtung und Geschwindigkeit des mobi- 
len Roboters. 

Diese Information wird in einem neuronalen Fuh- 
rungssystem des mobilen Roboters weiterverarbeitet. 

Das Netzwerk 14 wird Uberwacht trainiert mit realen 
oder simulierten Szenen oder Umgebungsdaten. Das 
Training erfolgt mit Hilfe des "Backpropagation"-Algo- 
rithmus. 

Bei einfachen mobilen Robotern konnen die Rich- 
tungs- und Fahrtkommandos, wie sie von dem neurona- 
len Netz 14 ausgegeben werden, direkt auf Stellglieder 
des Roboters aufgeschaltet werden. Das ist insbesonde- 
re mdglich, wenn es sich urn Einsatze in weitgehend 
strukturierter Umgebung handelt Mobile Roboter fiir 
Einsatze in unstrukturierter und moglicherweise nicht- 
kooperativer Umgebung erfordern eine Struktur des 
Fiihrungssystems, wie sie in Fig. 2 dargestellt ist 

Die Netzwerkmittei enthalten dort ein erstes neuro- 
nales Netzwerk 26. Auf das neuronale Netzwerk 26 sind 
die Daten von dem bilderfassenden Sensor 10 und dem 
Entfernungssensor 12 aufgeschaltet. Das neuronale 
Netzwerk 26 ist so trainiert, daB es die Daten des bilder- 
fassenden Sensors 10 und des Entfernungssensors 12 
zunachst strukturiert Es werden Merkmale, Cluster, 
Kategorien etc. extrahiert Hierzu werden als Netz- 
werkstrukturen selbstorganisierende Merkmalskarten 
und adaptive Resonator-Technologien verwendet. 

Die so strukturierten Daten werden in einem zweiten 
neuronalen Netzwerk 28 einem KlassifikationsprozeB 
unterworfen. Das Netzwerk 28 ist ein "Backpropaga- 
tion"-Netzwerk oder ein n Assoziativspeicher w - Netz- 
werk. 

Basierend auf den Ergebnissen der Datenstrukturie- 
rung und der Klassifikation werden durch ein weiteres 
neuronales Netzwerk 30 mogliche Fahrwege generiert. 
Aus diesen Fahrwegen wird ein optimaler Fahrweg aus- 
gewahit Fiir diese Optimierungsaufgabe wird ais Netz- 
werk 30 ein "Hopfield"- Netzwerk verwendet Das Netz- 
werk 30 Iiefert als Ergebnis der Fahrweg-Planung einen 
Soll-Fahrweg fiir das jeweils aktuelle Planungsintervall. 
Ein solcher Soll-Fahrweg kann beschrieben werden 
durch drei zeitabhangige Variablen X(t), Y(t) und ¥ (t), 
wobei X(t) die Nord-Positionskoordinate, Y(t) die Ost- 
Positionskoordinate und der Winkel V (t) die Richtung 
der Bezugsachse des mobilen Roboters in dem Naviga- 
tionsreferenzsystem des Einsatzgebietes angibt Diese 
Daten des Soll-Fahrwegs konnen in einem Soll-Zu- 
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standsvektor Zp (t) zusammengefaBt werden: 
ZD(t) = [XD(t),YD(t),aD(t)] T . 

Fig. 3 zeigt nun einen ebenfalls mit einem neuronalen 5 
Netzwerk 32 ausgebildeten Regler 33, der den mobilen 
Roboter 34 langs des so vorgegebenen Soll-Fahrweges 
fuhrt Das Netzwerk 32 ist ein mehrschichtiges Teed- 
forward'-Netzwerk mit einer Eingangsschicht 34, einer 
"verborgenen" Schicht 36 und einer Ausgangsschicht 38. 10 
Auf das Netzwerk 32 werden die zeitabhangigen Konv 
ponenten des Soll-Zustandsvektors Zp (t) in Form dis- 
kreter, mit einer Abtastperiode T abgetasteter Werte 
Zrj(nT) aufgeschaltet. Die Abtastung des Soll-Zustands- 
vektors Zd (t) ist in Fig. 3 durch einen Schalter 40 darge- 15 
stellt. Die abgetasteten diskreten Werte werden durch 
Verzogerungsglieder 42, 44 . . . nacheinander urn jeweils 
eine Abtastperiode T verzogert und auf das neuronale 
Netzwerk 32 aufgeschaltet. Es liegt dann an einem er- 
sten Eingang 46 des neuronalen Netzwerkes 32 der Soil- 20 
Zustandsvektor Zd (nT) zum Zeitpunkt nT. An einem 
zweiten Eingang 48 des neuronalen Netzwerkes 32 liegt 
der Soll-Zustandsvektor ZrX(n-l)T), der dem Abtast- 
zeitpunkt (n-l)T zugeordnet ist, usw. An einem Ein- 
gang 50 liegt schlieBlich der Soll-Zustandsvektor 25 
ZrX(n-k)T). Das neuronale Netzwerk erhalt somit an 
seinen Eingangen 46 ... 50 samtliche Soll-Zustandsvek- 
toren fur ein "Planungsintervall" der Lange kT. Das 
Netzwerk 32 liefert an einem Ausgang 52 zum Zeit- 
punkt nT einen Stellvektor u(nT). 30 

Der Regler 33 enthalt eine Ruckfuhrschleife 54. Der 
Stellvektor u(nT) wird iiber Verzogerungsglieder 56, 58 
. . . um jeweils eine Abtastperiode T verzogert auf weite- 
re Eingange 60 ... 62 des neuronalen Netzwerkes 32 
geschaltet. Der Eingang 60 erhalt den Stellvektor 35 
u((n-l)T). Der Eingang 60 erhalt schlieBlich den Stell- 
vektor u((n-l)T). 

Der Stellvektor ist 

u(t)«[v(t),o(t)] T . 40 

Der Stellvektor u(t) enthalt somit die Komponenten 
Fahrgeschwindigkeit v(t) und Stellung a(t) des Fahrt- 
richtungsgebers. Dieser Stellvektor ist auf die Stellglie- 
der des mobilen Roboters 34 aufgeschaltet Der mobile 45 
Roboter 34 folgt dann einem Fahrweg, der durch einen 
Ist-Zustandsvektor Z(t) gekennzeichnet ist und dem 
durch den Soll-Zustandsvektor Zp(t) vorgegebenen op- 
timalen Fahrweg entspricht. 

Fig. 4 veranschaulicht das Trainieren des Netzwerkes 50 
32 des Reglers 33. 

Auf den mobilen Roboter 34 oder ein nichtlineares 
Modell dieses mobilen Roboters werden in festen Ab- 
tastperioden Stellvektoren u(nT) aufgeschaltet Diese 
Stellvektoren ergeben sich durch Abtastung eines zeit- 55 
abhangigen Stellvektors u(t). Diese Abtastung ist durch 
einen Schalter 64 symbofisiert. Der mobile Roboter 34 
(oder das Modell des mobilen Roboters) folgt dann ei- 
nem Fahrweg, der durch einen zeitabhangigen Zu- 
standsvektor Z(t) beschrieben wird. Der Zustandsvek- 60 
tor Z(t) wird wieder mit den festen Abtastperioden T 
abgetastet. Diese Abtastung ist durch einen Schalter 66 
angedeutet. Die so erhaltenen Zustandsvektoren wer- 
den durch Verzogerungsglieder 68, 70, ... um jeweils 
eine Abtastperiode T verzogert und auf Eingange 72, 74, 65 
... 76 des neuronalen Netzes 32 geschaltet An dem 
Eingang 72 liegt dann der Zustandsvektor Z(nT), der 
dem Abtastzeitpunkt nT zugeordnet ist An dem Ein- 
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gang 74 liegt der Zustandsvektor Z((n-1)T), der dem 
Abtastzeitpunkt (n-l)T zugeordnet ist. An dem Ein- 
gang 76 liegt schlieBlich der Zustandsvektor Z((n - k)T), 
der dem Abtastzeitpunkt (n - k)T zugeordnet ist. 

In einer Schleife 78 entsprechend der Ruckfuhrschlei- 
fe 54 in Fig. 3 ist der eingegebene Stellvektor u(nT) mit 
stufenweiser Verzogerung auf Eingange des neuronalen 
Netzwerkes 32 geschaltet. Die stufenweise Verzoge- 
rung wird durch Verzogerungsglieder 80, 82, . . . bewirkt 
An einem Eingang 84 liegt der eingegebene Stellvektor 
u((n-l)T), An einem Eingang 86 liegt schlieBlich der 
eingegebene Stellvektor u((n- 1)T). 

Das neuronale Netzwe~rk 32 liefert an einem Ausgang 
88 einen Schatzwert 0(nT) fur den Stellvektor. Dieser 
Schatzwert weicht zunachst von dem eingegebenen 
Stellvektor u(nT) ab. Es wird in einem Summierpunkt 90 
die Differe"nz von eingegebenem Stellvektor und 
Schatzwert gebildet Diese Differenz ist auf einen Lern- 
Algorithmus 92 geschaltet Der Lern-Algorithmus 92 ist 
ein M Backpropagation"-Algorithmus. Durch diesen Al- 
gorithmus werden die Verbindungsgewichte wy des 
neuronalen Netzwerkes schrittweise verandert Diese 
Ver&nderung geschieht in einer solchen Weise, daB nach 
einer Vielzahl von Lernschritten das neuronale Netz- 
werk den Zusammenhang zwischen eingegebenen Zu- 
standsvektoren Z und Stellvektoren u korrekt wieder- 
gibt Die Veranderung der wy ist durch einen Pfeil 94 
angedeutet. 

Fig. 5 zeigt das Ergebnis einer Simulation der Bewe- 
gung eines mobilen Roboters, der mit einem Regler 33 
der beschriebenen Art, der gemaB Fig. 4 trainiert wur- 
de, langs eines vorgegebenen, durch einen Soll-Zu- 
standsvektor definierten Soll-Fahrweges gefiihrt wird. 
Die ausgezogenen Linien zeigen den Soll-Fahrweg, die 
gepunkteten Linien zeigen den Ist-Fahrweg. Fig. 5 zeigt 
den Fall, daB die vorgegebenen Fahrwege seibst vorher 
trainiert worden waren. Fig. 6 ist eine entsprechende 
Darstellung fur den Fall, daB die vorgegebenen Fahrwe- 
ge seibst nicht trainiert worden waren. Das unerwartet 
gute Verhalten des Netzwerkes liegt an der generalisie- 
renden Wirkung der hier verwendeten Struktur des 
Netzwerkes. 

Patentanspruche 

1. Navigations- und Fuhrungssystem fur autonome, 
mobile Roboter, gekennzeichnet durch einen bild- 
erfassenden Sensor (10), einen Entfernungssensor 
(12) und neuronale Netzwerkmittel (14; 26, 28, 30, 
32), auf welche Daten von dem bilderfassenden 
Sensor (10) und von dem Entfernungssensor (12) 
aufgeschaltet sind und welche zur Erzeugung von 
Richtungs- und Fahrtkommandos aus den Daten 
der Sensoren trainiert sind. 

2. Navigations- und Fuhrungssystem nach An- 
spruch 1, dadurch gekennzeichnet, daB das Netz- 
werk (14) drei Schichten (16, 18, 20) enthalt und 
ausschlieBlich vorwarts vernetzt ist 

3. Navigations- und Fuhrungssystem nach An- 
spruch 1 gekennzeichnet durch 

a) ein erstes neuronales Netzwerk (26) dessen 
Netzwerkarchitektur selbstorganisierenden 
Merkmalskarten oder adaptive Resonator- 
Technologien verwendet zum Strukturieren 
der Sensordaten mit dem Ziel, Merkmale, Clu- 
ster, Kategorien etc zu extrahieren, 

b) ein zweites neuronales Netzwerk (28) vom 
Typ "Backpropagation" oder "Assoziativspei- 
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cher" auf welches strukturierte Ausgangsdaten 
des ersten neuronalen Netzwerkes (26) aufge- 
schaltet sind zur Durchfiihrung eines KJassifi- 
kationsprozesses mit den strukturierten Da- 
ten, und 5 
c) ein drittes neuronales Netzwerk (30) vom 
tt Hopfield"-Typ zur Generierung moglicher 
Fahrwege des mobilen Roboters (34) und einer 
Optimierung des Fahrweges basierend auf 
dem Ergebnis der Strukturierung der Daten io 
und der Klassifikation, wobei der optimierte 
Fahrweg durch einen soll-Zustandsvektor 
(Zr>(t))dargestellt ist. 

4. Navigations- und Fiihrungssystem nach An- 
spruch 3, dadurch gekennzeichnet, daB der Soll-Zu- 15 
standsvektor (Zd(i)) auf einen mit einem neurona- 
len Netz (32) aufgebauten Regler (33) aufgeschaltet 
ist, der Stellsignale (u(t)) flir Fahrgeschwindigkeit 
und Fahrtrichtung erzeugt, derart daB der Zu- 
standsvektor (Z(t)) des mobilen Roboters dem Soil- 20 
Zustandsvektor (Zr>(t)) folgt 

5. Navigations- und Fiihrungssystem nach An- 
spruch 4, dadurch gekennzeichnet, daB der Regler 
(33) ein dreischichtiges neuronales Netzwerk (32) 
aufweist. 25 

6. Navigations- und Fiihrungssystem nach An- 
spruch 4 oder 5, dadurch gekennzeichnet, daB 

a) der zeitabhangige Soll-Zustandsvektor 
(Zc>(t)) durch Abtastmittei (40) in festen Ab- 
tastperioden (T) abtastbar ist, so daB abgeta- 30 
stete Soll-Zustandsvektoren (Zrj(nT)) erhalten 
und auf den Regler (33) aufgeschaltet werden, 

(b) das neuronale Netzwerk (32) eine Mehr- 
zahl von Eingangen (46, 48 ... 50) aufweist, die 
eine Reihe von einem ersten bis zu einem letz- 35 
ten Eingang (46 bzw. 50) geordnet sind, 

(c) eine Mehrzahl von Verzogerungsgliedern 
(42, 44 ... ) vorgesehen ist, die zwischen den 
Eingangen (46, 48, . . . 50) des neuronalen Netz- 
werkes (32) liegen und jeweils eine Verzoge- 40 
rung urn eine Abtastperiode bewirken, und 

(d) die abgetasteten Soll-Zustandsvektoren 
(Zrj>(nT)) auf den ersten Eingang (46) der Reihe 
aufschaltbar sind. 

7. Navigations- und Fiihrungssystem nach An- 45 
spruch 6, dadurch gekennzeichnet, daB 

a) der Regler (33) eine Ruckfiihrschleife (54) 
aufweist, iiber welche Stellvektoren (u(nT)) auf 
weitere Eingange (60, ... 62) aufschaltbar sind, 
die in einer Reihe von einem ersten (60) zu 50 
einem letzten Eingang (62) geordnet sind, 

b) eine Mehrzahl von Verzogerungsgliedern 
(56, 58, ... ) vorgesehen sind, die in der Ruck- 
fiihrschleife (54) vor und zwischen den weite- 
ren Eingangen (60, . . . 62) angeordnet sind und 55 
jeweils eine Verzogerung urn eine Abtastpe- 
riode bewirken, und 

c) die Stellvektoren (u(nT)) jeweils auf das dem 
ersten Eingang (60) vorgeschaltete VerzSge- 
rungsglied (56) aufgeschaltet sind. eo 
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